脳を彫刻する作業と、ただ台本を渡すのを比べてみてください。自然言語処理（NLP）の過去の時代では、 ドメイン適応 は、 転移学習 または PEFT（パラメータ効率的ファインチューニング）という非常に負担が大きいプロセスでした。モデルを粘土のように扱い、内部重みを物理的に変更するために数千ものラベル付き例が必要だったのです。これは計算上の摩擦が大きく、BERTのような静的で極度に特殊化されたモデルのバージョンを生み出していました。

GPT-3の起爆剤

GPT-3のリリースは GPT-3 という 最先端（SOTA） のマイルストーンを示しました。それは コンテキスト内学習——モデルがプロンプトから直接パターンを識別する——一般的なタスクにおいて、専門的なファインチューニングの性能と同等あるいはそれを上回ることが多くあることが証明されました。私たちは プロンプトベースの推論へと移行しています。ここで勾配更新の遅延とコストは、戦略的な文脈の注入によって置き換えられます。